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ПРОБЛЕМА ИЗМЕРЕНИЙ В АДАПТИВНОМ ОБУЧЕНИИ С ПОМОЩЬЮ 
АВТОМАТИЗИРОВАННЫХ ОБУЧАЮЩИХ СИСТЕМ 


С.Ф.Занько, И.М.Юсупов 


Применение ЭВМ для целей обучения непременно предполага- 
ет измерение тех или иных параметров процесса обучения и жа- 
рактеристик обучаемых. С этой точки зрения современные обуча- 
ющие системы можно рассматривать как измерительные устройства, 
предоставляющие большие возможности сбора и переработки ин- 
формации о процессе обучения и самих обучаемых. Однако прак- 
тическое использование этих устройств наталкивается на значи- 
тельные трудности, ибо "вопросов об учебном процессе сущест- 

23 


вене 


вует такое великое множество и машине монно задать столько во- 
просов и получить от нее столько ответов, что учителя, адми- 
нистрация и иоследователи рискуют быть просто — захлестнутыма 
столь большим объемом статистического материала, что вряд ли 
смогут с ним справиться” [13, с.173). 

Имеется два очевидных выхода из этой ситуации; во-первых, 
сократить число регистрируемых данных; во-вторых, привести 
процедуру обработки данных к форме, пригодной для практичес- 
кого использования. Первый из них свизан с ответом на вопрос 
что измерять?” Второй - с ответом на более труд- 
НЫЙ вопрос "как измерять?" 

Применительно к ЛОС вопрос о том, "что измерять", модифи- 
цируется в задачу разработки адаптивных обучающих — программ, 
которые были бы в состоянии приспосабливаться к каждому .обу- 
чаемому, руководствуясь историей его предшествующего обучения. 
Следовательно, речь должна идти о регистрации тех результатов 
обучения, которые дадут информацию о возможных путях индиви- 
дуализации этого процесса. 

Не лучше обстоит дело с решением вопроса о том ‚ как из- 
мерять. "При планировании методов обработки учебных показа- 
телей нескольких тысяч стэнфордских школьников оказалось, что 
труднее всего решить, какие показатели из общей массы имеет 
смысл регистрировать постоянно. Когда за учебными стендами за- 
нимаются 5000 школьников, никакого труда’ не представляет с по- 
МОЩЬЮ вычислительной машины получать ежедневные отчеты о их 
работе толщиной в 1000 страниц, но регулярно перерабатывать 
такое количество информации выше человеческих сил. 1000 стра- 
ниц необходимо сократить до 26-30. ...Вся трудность ‘заключа- 
ется в том, что не имеется убедительных теоретических постро- 
ений, которые могли бы указать, как надо проводить такое с0- 
кращение, В настоящее время все решения, которые мы принимаем 
в подобных случаях, базируются на педагогической интуиции и 
традиционном анализе данных, принятом в экспериментальной пси- 
хологии. Ни то, ни другое не может служить надежным показате- 
лем в учебной работе” [13, с. 181 - 182]. 

В целом приходится призяать, что задача разработки  ди- 
дактической квалиметрии, несмотря на ее практическую актуаль- 
ность, еще только ставится. "В педагогике предстоит разрабо- 
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тать и обосновать дицактически независимую систему основных и 
производных единиц измерения. Вместе с тем важно — определить, 
какие характеристики учебных объектов являются исходными и 
подлежат первичному измерению” [7, с.75]. 

Тем не менее разработчикам методического обеспечения АОС, 
занимающимся адаптивными обучающими программами, приходится 
принимать конкретные практические решения по вопросам дилакта- 
ческой квалиметрии. Без этого функционирование адаптивной обу- 
чающей программы в АОС просто невозможно. Результаты, получен- 
ные нами [2], лозволяют критически подойти к довольно прочно 
устоявшимся в дидактике догмам. Речь пойдет о том, что в поис- 
ках ответа на вопросы дидактических измерений — исследователи, 
как правило, обращаются к теории психологических измерений, 
получившей свой метрологический статус и находящей себе все бо- 
лее широкое применение (то, п, 16]. Целесообразно остановить - 
ся на основных положениях этой теории и попытаться установить 
границы ее применимости к дидактическим измерениям при машин- 
ном обучении. 

"В самом общем смысле слово "измерение" обозначает опера- 
цию, посредством которой числа (или по крайней мере порядковые 
величины) приписываются вещам" [2, с.19%5]. Несмотря на внешнюю 
простоту и инструктивную ясность этого определения, — введение 
его в практику психологических измерений сопряжено с рядом су- 
цественных трудностей. Все они проистекают из того, что "вещь" 
которой следует приписать числа, - это личность. Если в есте- 
ственных науках измерение, как правило, осуществляется фикса- 
цией всех переменных, кроме одной - независимой,  представляю- 
цей собой измеряемую величину, то.в психологии любое явление 
зависит обычно от многих факторов. Отсюда возникает острый во- 
прос применения методов многомерного анализа — психологических 
явлений [4] и отсюда же - вопрос перехода от качественных шкал 
к адекватному измерению множества свойств в их количественном 
выражении. ы 

С методологической точки зрения для любого измерения не- 
обходимо выбрать единицу анализа. В психологических исследова- 
чиях измерению подвергается предметная деятельность испытуемо- 
го или какая-то составная часть ее. ще чаще о ее — протекании 
судят по конечному продукту. Сложившиеся в психологии представ- 
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ления о предметной деятельности дают следующую ее схему: дея- 
тельность - действие - операция [5}. При этом деятельность не 
является аддитивным процессом, состоящим из простой суммы дей. 
ствий. Всли при измерении из предметной деятельности — исклк- 
чить осуществляющие ее действия, то от Деятельности ничего не 
останется. По-видимому, на такой методологической основе стро: 
ит измерение качества обучения В.П.Беспалько [3, с.199), ко- 
торый практически ставит энак равенства между понятиями усво- 
ения деятельности и действия, Исходя из психологической тео- 
рии деятельности, измерить усвоение деятельности невозможно 
вообще, ибо само понятие деятельности в психологии выступает 
как универсальная предельная абстракция [9]. 

Если измерять операцию, т.е. способ осущёёетвления дейст- 
вия, то как найти некоторую алгебраическую функцию, количест- 
венно отракающую эту качественную сторону деятельности? Если 
хе измерять действие, т.е. процесс, подчиненный сознательной 
цели, - то сразу же возникает необходимость выйти за пределы 
трехчленвой структуры предметной деятельности в оферу целепо- 
лагания. Иначе, измеряя лишь чисто внешнюю, предметную сторо- 
ну действия, исследователь рискует упусти”ь ее психологичес- 
кий субстрат. Таким образом встает вопрос: как измерить моти- 
вационную сферу деятельности, представленную — А.Н.Леонтьевым 
в виде второго ряда понятий: мотив - цель - условие? 
[5, с. 102 - 105). Мотив является фактором, определяющим вы- 
бранный путь к цели и извлекающим из памяти весь прошлый опыт 
с коррекцией на существующую обстановку [Т, с. 9]. В одной 
ситуации обучаемый сочтет целесообразным обратиться к учебни- 
ку или обучаемой системе, в другой - получить консультацию у 
‘преподавателя. В обоих случаях разные пути приведут к одной в 
той же цели, но как измерить мотив выбранного решения? Непо- 
средственному измерению доступна лишь экстериоризованная дея- 
тельность, в основе которой лежат вербальные или двигательные 
компоненты. Соотнесения понятий мотива и деятельности, а так- 
вв понятий цели и действия явно недостаточно для установления 
соответствия между свойствами этих явлений и свойствами чисел. 
Это усугубляется еще и тем, что понятие мотива определяется 
неоднозначно; дополнятельно вводится еще одно определение м- 
тива-цели как осознанной гензерализованной цели деятельности. 
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Как видно, встающие эдесь вопросы прямо связаны с содер- 
жанием психологической теории. Ответ на них порой зависит ОТ 
той концепции, которой придерживается исследователь. С матема- 
тической же точки зрения от них можно абстрагироваться, и тогла 
психологические измерения сведутся к выбору вида шкал, т.е. оп 
ределению способа перехода от одной числовой системы к адек- 
ватной системе с теми же отношениями. Другими словами, требу- 
ется отыскать возможность психологического и числового прочте- 
ния одних и тех же формальных отношений в рассматриваемых яв- 
лениях. Из аксиом сравнения величин [16] вытекает существова- 
ние четырех видов шкал [14, 15]: шкал наименований, шкал по- 
рядка, шкал интервалов, шкал отношений. 

Шкалы наименований устанавливают отно- 
шения равномерности, которые распределяют экспериментальные 
данные по определенному числу классов. Каждый результат отно- 
сится только к одному классу. Примером может служить классифи- 
кация профессий по признаку взаимодействия человека с окружаю- 
щей действительностью - профессии: человек - человек, чело- 
век - природа, человек - знак, человек - образ, человек - тех- 
ника. К этим же шкалам может быть отнесено выделение элементов 
деятельности человека: сенсорный компонент деятельности, рече- 
вой, моторный и т.д. Числам, обозначающим эти классы,  доста- 
точно обладать только одним свойством - быть отличными друг от 
друга. 
Шкалы порядка устанавливают между явлениями 
отношения равенства и отношения ранговой последовательности. 
Числа, приписываемые шкалам порядка, должны иметь свойства мо- 
нотонного преобразования, т.е. свойства остаются — неизменными 
при замене этих чисел упорядоченным рядом чисел. Кроме того, 
за этими числами должно сохраняться и свойство отличительности 
их друг от друга, необходимое при составлении шкалы наименова- 
ний. В качестве ‚примера шкалы порядка можно. привести ранкиро- 
вание одних и тех же качеств при оценке и самооценке личности; 
субъективное упорядочивание звуковых, кинестезических, эри- 
тельных или тактильных стимулов по их возрастающей (убывахщей) 
интенсивности. В частности, подсчет коэффициента. корреляции 
рангов по Спирмену основан на том допущении, что числа, об- 
разующие ранги, обладают свойством отличительности признаков я 


27 


свойствами монотонного преобразования. 

Шкалы порядка могут также применяться для выявления ре- 
зультатов обучения. Расположив обучаемых последовательно по 
признаку скорооти выработки навыков, можно оудить об их боль- 
шей или меньшей способности к обучению. По характеру кривой 
распределения статистических результатов представляется воз- 
можным выявить такую меру центральной тенденции, как моду, ха- 
рактеризующую максимальную вероятность появления ожидаемых ре- 
зультатов. В психологическом смысле это означает, что в коп- 
кретной изучаемой деятельности человека уже сформировался на- 
вык (действие или операция). В педагогическом аспекте это же 
может характеризовать успешность обучения. 

В проведенных нами исследованиях [6) были поставлены экс- 
перименты с целью установления характера статистического рас- 
пределения при формировании сложного навыка. Испытуемые про- 
ходили тренировку в автоматизированной обучающей системе, Пред- 
полагалось, что по мере выработки сложного навыка на ограни- 
ченном временном отрезке медиана и мода как меры центральной 
тенденции будут сбликаться. При математической обработке по- 
дученные 6300 замеров были ранжированы в определенной после- 
довательности и проанализированы. Гипотеза о сблимении моды и 
медианы по мере формирования навыка полностью подтвердилась. 
Таким образом ‚применение шкалы порядка в оценке результатов 
психолого-педагогического эксперимента позволило ограничиться 
достаточно простой измерительной техникой и оказалось доста- 
точно эффективной мерой для определения обучаемости в целом. 

В экспериментах можно не вводить ограничение времени, а 
обучаемым позволить осваивать данную деятельность до полно- 
го овладения ею. Тогда, расположив испытуемых по признаку мак 
симальных затрат времени, можно также определить их обучае- 
мость. На этом основаны известные шкалы умственных способно- 
стей, предложенные Бинэ, которые относятся к рассматриваемому 
типу. 

Шкалы интервалов строятся на основе одя- 
ваковой разности между двумя парами каких-либо фактов, т.е. 
двум экспериментально равным различиям приписываются два рав- 
ных числовых значения. Одна из экспериментальных операций, оп- 
релеляющих равновеликую разность между двумя парами фактов, 
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охематично может быть прелставленя так. 

В некотором измерляемом явлении извостин два факта ИЛИ 
точки: А и Д (рисунок). Вначиле этот интервал делится 
точкой В на два равных интервала АВ и ВД. Затем точно 
так же определяютоя точки Б и Г, соответственно  делящие 
на равные части отрезки ЛВ 


и ВД. Последняя контроль- о а ли АЙ 
А 





ная операция - установить о рен ЗИ 
совпадение середины отрезка АВ |: ЗОО ЗОО 
БГ с точкой В. Сейчас ос- Б В Г 
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тается только предполагать, 
что так была построена сто- 
градусная температурная 
шкала Цельсия, гле за нуль взята точка замерзания воды, а за 
[00° - точка ее кипения при нормальном давлении. Применение 
этой физической шкалы в психофизиологических измерениях за- 
труднительно, ибо геометрически равные интервалы не соответст- 
вуют субъективным интервалам в ощущениях индивила. Даже в не- 
эначительном диапазоне изменение температуры на один градус 
имеет совершенно разную эначимость для организма в зависимо- 
стй от того, произошло оно от 36,6 или от 4Т9С. 

Свойства чисел, приписываемых шкалам интервалов, сохра- 
няются неизменными после линейного преобразования вида у=Кх+б, 
а измерение предполагает линейность измеряемого явления. В та- 
ких пкалах выбирается произвольно начало (пареметр 6) и еди- 
ница (параметр ©), как например, в температурных шкалах Ффа- 
ренгейта, Реомюра и Цельсия. В оценочных суждениях или субъ- 
ективных оценках индивида значимость изменяющегося свойства 
или явления нелинейна, поэтому требуется более сложная мате- 
матическая конструкция. 

Из области психофизики убедительной иллюстрацией к ска- 
занному будет закон Вебера - Фехнера (основной психофизичес- 
кий закон), устанавливающий логарифмическую зависимость мех- 
ду равными интервалами изменения субъективных ощущений и фи- 
зическими отимулами, вызывающими эти ощущения. В педагогике 
нелинейность применяемых шкал также имеет место. Каддому 
экзаменатору из собственной практики известно, сколь трудно 
бывает оценить знания обучаемого цо существующей четырех- 
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балльной шкале, если качество этих знаний не лежит в областях, 
пограничных с "неудовлетворительно" и "отлично". При этом 
априори считаются равновеликими интервалы между двумя любыми 
соседствующими баллами, хотя содержание качества знаний уме- 
ний или навыков, подлежащих оценке конкретным баллом в высшей 
школе, нигде не оговорено. 

Не меньшие трудности возникают в спорте, где оценка ма- 
стерства спортсменов проводится по шкале интервалов с одина- 
ковыми числовыми различиями между двумя фактами. К этим видам 
спорта можно отнести фигурное катание, художественную гимна- 
стику, прыжки в воду, акробатику и т.д. Перечень подобных пири- 
меров можно было бы продолжить, заимствовав их из сферы ис- 
кусства. 

Во всех перечисленных случаях для большей объективности 
применяется ставший традиционным мэтод экспертных оценок с по- 
следующей статистической обработкой. Отыскивается средняя 
арифметическая и отклонения от нее, позволяющие устранить 
слишком противоречивые суждения об одних и тех же фактах. 

Шкалы отношений строятся на основе равен- 
ства отношений между двумя парами фактов, что можно предста- 
вить в виде: факт А некоторого явления количественно ‹ 
отнооитоя к факту Б другого явления так же, как фект 
В третьего явления относится к факту Г четвертого явления. 
Если это экспериментально подтверждается, то исследователь 
вправе приписать изучаемым явлениям числа, отношения между ко- 
торыми равны. Свойства этих чисел должны сохраняться в резуль- 
тате преобразования вида у=Ах,и применительно к ним все 
арифметические операции имеют смысл. Например, количество про- 
читанных страниц научной литературы х актуализируют уже име- 
ющиеся знания у в А раз больше, чем информация, заложенная в 
числе страниц х. Если сравнить преобразования этого вида с 
преобразованиями, которым подчиняются шкалы интервалов, то 
видяо, что они отличаются параметром 6. Исчезновение  пара- 
метра 6 означает не произвольность, а жесткую фиксирован- 
ность начала отсчета в шкалах отношений. 

Шкалирование может применяться всюду, где изучается не- 
которое свойство качественной природы при условии упорядочен- 
ния его структуры. Тогда задача измерения сводится к отобра- 
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жению этого свойства в числовом множестве. В зависимости от 
свойств полученных ‘исходных множеств, могут применяться и про- 
изводные шкалы, цель которых - численно описать факты, вскры- 
тые лервичной статистической обработкой. Сюда можно отнести 
методы вычисления корреляций и факторный авализ. При любом ко- 
личественном описании психических явлений всегда сохраняется 
требование надежности выполняемых измерений. Смысл надежности 
измерений имеет два аспекта, 

Во-первых, измерение доляно быть применимо к объекту. 
Свойства измеряемого объекта или явления не должны быть зави- 
симы от инструмента и процедуры измерения. Инструменты изме- 
рения, не обладающие постоянством собственных свойств по от- 
ношению к раэличным испытуемым, в исследованиях не применимы. 
Так и психические явления обследуемого индивида, в том числе 
и обучаемого, не должны изменять характер своего протекания 
под влиянием применяемой аппаратуры или тестов. При этих ус- 
ловиях достоверные результаты дает многократное измерение. 
Здесь вполне допустима систематическая ошибка,  инвариантная 
при повторных замерах. Математическая интерпретация подобных 
ошибок в шкалах с произвольным началом (в шкалах интервалов) 
будет представлять собой смещение исходной отметки на вели- 
чину 6. 

Другой аспект касается воспроизводимости существующих за- 
висимостей между стимулом и реакцией на этот стимул, т.е. об- 
наруженную зависимость требуется подтвердить многократно. Чис- 
ленная обработка должна основываться на многочисленных изме- 
рениях. Количественная проверка надежности осуществляется ме- 
тодами, описание которых можно найти в любом пособии по мате- 
матической статистике. Один из самых простых критериев надех- 
ности измерений иэвестен как формула Кадера - Са (17, 
с. 318]. 

Таким образом, теория шкал измерения касается природы ис- 
следуемого объекта лишь в той мере, в какой последняя влияет 
на выбор шкалы. В этом смысле теория измерений универсальна, 
она приложима к объектам исследования любой природы. — Теория 
же поихологических измерений полобпой универсальностью не об- 
ладает. Это учение о выборе шкал измерения при исследовании 
психологических явлений. Решег::з вопроса о том, что из- 
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мерять, остается прерогативой соцержательных представле. 


ний исследователя об исследуемом объекте. Только на их основе 
можно решать вопрос „“что измерять", как и вообще вопрос при- 
менимости математических методов в конкретной науке [4, 8, 15} 
Лишь после этого наступает очередь выбора шкалы измерения. 

Уяснение этого обстоятельства позволяет вновь обратиться 
к проблеме дидактических измерений при машинном обучении. } 
чем слабость психологического подхода к измерениям в дидакти- 
ке? В психологии измерению подвергается деятельность, об ус- 
пешности протекания которой судят по ее конечному или проме- 
жуточному продукту. Применительно к обучению одни и те же из- 
мерения устанавливают факты протекания процесса и получения 
результата. Налицо смешение понятий, что, вообще говоря, сле- 
дует признать источником многих недоразумений и в Психологии 
й в дидактике. "Неумение провести различие между процессом 
обучения и критериями обучения, - отмечает Х.Хелсон, - ведет 
к большой путанице. Часто способ обучения трактуется так, бул 
то условия, метод или путь, с помощью которых обучение имеет 
место, образуют обучение в смысле того, что достигается" [18, 
с. 392 |. 

Нам представляется, что без такого разграничения — проб- 
лема дидактических измерений не может быть поставлена коррект 
но; специфика дидактических явлений в сравнении с психологи- 
ческими заключается, в частности, в несводимости результатов 
педагогического процесса к чисто психической интериоризован- 
вой деятельности обучаемого. В конечном счете обучение имеет 
своей целью социальную подготовку обучаемых к деятельности } 
сфере общественного производства. Следовательно, при изучения 
дидактических явлений во внимание должны приниматься не толь- 
ко свойства личности обучаемого, но и объективно существующие 
вормы производственной деятельности в системе разделения № 
кооперации общественного труда. 

Такой подход означает прежде всего изменение содержател’ 
ного представления об обучении. Обучение начинает  рассматИй 
ваться как процесс адаптации к объективно существующим норма» 
производственной деятельности, а результатом этого процесс? 
приэнается совпадение деятельности обучаемого с внешними д/’ 
него нормами практической деятельности людей в сфере общест“ 
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венного производства. Вместе с этим изменяется постановка за- 


дачи дидактических измерений, ибо в поле зрения исследователя 
оказывается уже социально обусловленное явление. Разграниче- 
ние задач психологических и дидактических измерений совершен- 
но необходимо при адаптивном обучении с помощью А0С. Этого 
разграничения нельзя, по-видимому, избежать и при решении про- 
блемы дидактических измерений в целом. 
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